Bắt đầu từ năm 1893, "Buck" Duke bắt đầu mua đất bên cạnh sông Raritan ở vùng nông thôn New Jersey. Tầm nhìn của ông là tạo ra một trang trại tương tự như ở Bắc Carolina nơi ông đã trưởng thành. Ông đã tập hợp một số kiến trúc sư và kỹ sư để thực hiện ước mơ của mình, bao gồm Buckenham & Miller, James Leal Greenleaf và Elizabeth Biddle Shipman. Cuối cùng, ông đã tập hợp được khoảng 2.700 mẫu Anh (11 km²) đất nông nghiệp và gỗ trong đó có 45 tòa nhà, 9 hồ, 18 dặm đường, 810 hecta rừng, 464 mẫu Anh đồng cỏ chim và 1,5 dặm tường đá.[3][4]

Duke qua đời năm 1925, và cô con gái 12 tuổi Doris Duke đã giành quyền kiểm soát tài sản sau khi kiện mẹ cô.[5] Cô khôi phục nó và chuyển đến ở tuổi 15. Cô đã đầu tư vào tài sản và biến nó thành nơi ở chính của mình. Cô kết hợp các phương pháp canh tác sinh thái sáng tạo mà cô học được từ trang trại Malabar của Louis Bromfield. Bắt đầu từ năm 1958, cô đã tạo ra và thiết kế trong khoảng thời gian 5 năm một màn hình thực vật độc đáo trong nhà kính và nhà kính Horace Trumbauer được gọi là Duke Gardens.[6] Duke Gardens mở cửa cho công chúng vào năm 1964. Doris Duke mất năm 1993.